期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 基于流形学习的句向量优化
吴明月, 周栋, 赵文玉, 屈薇
《计算机应用》唯一官方网站    2023, 43 (10): 3062-3069.   DOI: 10.11772/j.issn.1001-9081.2022091449
摘要190)   HTML8)    PDF (1411KB)(123)    收藏

句向量是自然语言处理的核心技术之一,影响着自然语言处理系统的质量和性能。然而,已有的方法无法高效推理句与句之间的全局语义关系,致使句子在欧氏空间中的语义相似性度量仍存在一定问题。为解决该问题,从句子的局部几何结构入手,提出一种基于流形学习的句向量优化方法。该方法利用局部线性嵌入(LLE)对句子及其语义相似句子进行两次加权局部线性组合,这样不仅保持了句子之间的局部几何信息,而且有助于推理全局几何信息,进而使句子在欧氏空间中的语义相似性更贴近人类真实语义。在7个文本语义相似度任务上的实验结果表明,所提方法的斯皮尔曼相关系数(SRCC)平均值相较于基于对比学习的方法SimCSE(Simple Contrastive learning of Sentence Embeddings)提升了1.21个百分点。此外,将所提方法运用于主流预训练模型上的结果表明,相较于原始预训练模型,所提方法优化后模型的SRCC平均值提升了3.32~7.70个百分点。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 融合网络结构信息及文本内容的标签推荐方法
车冰倩, 周栋
计算机应用    2021, 41 (4): 976-983.   DOI: 10.11772/j.issn.1001-9081.2020081275
摘要373)      PDF (1060KB)(697)    收藏
为文本推荐合适的标签是更好地组织和使用文本内容的一项有效手段,目前大部分标签推荐方法主要通过挖掘文本内容来进行推荐。然而,大部分数据信息并非独立存在,如语料库中的文本间的词共现关系可形成复杂的网络结构。以往研究表明,文本间的网络结构信息和文本内容信息可以分别从两个不同的角度对同一文本的语义进行概括,并且从两方面提取的信息可以互为补充和解释。基于此,提出一种同时对文本网络结构信息和文本内容信息进行建模的标签推荐方法。该方法首先使用图卷积神经网络(GCN)提取文本间网络的结构信息,然后使用循环神经网络(RNN)提取文本内容信息,最后使用注意力机制结合文本间网络结构信息和文本内容信息进行标签的推荐。与基于图卷积神经网络(GCN)的标签推荐方法、基于主题注意力的长短时记忆(TLSTM)神经网络的标签推荐方法等基线方法相比,提出的使用注意力机制结合网络结构信息与文本内容信息的标签推荐方法具有更好的性能。如在Mathematics Stack Exchange数据集上所提方法的准确率、召回率和F1值相较最优基线方法分别提高了2.3%、3.8%、7.0%。
参考文献 | 相关文章 | 多维度评价